EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
EvoBrowseComp:演化知识驱动的搜索Agent评测基准
🧭 搜索Agent评测基准 · 动态知识演化
Northeastern University, China · Weixin AI, Tencent Inc, China
提出自动更新的复杂问答基准EvoBrowseComp,利用三Agent协同从实时网络中合成无污染题目,评估搜索Agent的真实浏览能力。
📌 工作参考价值(4 点)
- 借鉴多Agent协作流水线(QA合成、信息过滤、高层推理图构建)自动生成评测数据,可迁移到电商推荐场景,动态生成需要实时检索的商品对比、政策更新等复杂查询,防止模型依赖过时记忆。
- 信息过滤Agent通过可信度和流行度双筛阻断参数快捷方式,这一思路可用于构建推荐系统的抗泄漏测试集,确保模型真正理解上下文而非记忆热门模式。
- 推理Graph形式化减少逻辑冗余,可启发我们将用户多条件查询(如“性价比高、适合油皮、2025新款粉底液”)解析为结构化约束,生成更鲁棒的Agent评测用例。
- 定期自动更新的基准设计,适合作为线上搜索Agent持续监控的探针,及时检测模型在面对新鲜知识时的退化,类似推荐系统中的概念漂移检测。